\subsubsection{NIPS}

\begin{itemize}
\item \citet{lin2022device} 首次提出了轻量级训练引擎 TTE，填补了资源受限场景下模型训练的空白。
\item \citet{zheng2024streamnet} 提出了适用于微控制器推理的 StreamNet，缓解基于补丁的推理中存在的性能瓶颈。
\end{itemize}

\begin{itemize}
\item \textbf{论文标题}：On-Device Training Under 256KB Memory
\item \textbf{研究问题}：在物联网设备上进行设备端训练，使得模型能够适应新收集的传感器数据，从而实现个性化AI模型，同时保护用户隐私。然而，由于物联网设备通常具有非常有限的内存资源，如仅有 256KB SRAM 的微控制器，这使得在设备端进行训练变得非常具有挑战性。
\item \textbf{方法与技术}：文中提出了一种算法-系统协同设计框架，用于解决量化后的神经网络图难以优化和硬件条件限制下反向传播无法完整进行的问题。在该框架中设计了轻量级训练引擎（Tiny Training Engine, TTE），将自动微分的计算开销从运行时转移到编译时，并且在编译时对反向传播图进行剪枝，去除冗余节点。训练时，采用稀疏更新跳过网络中重要性较低的层内梯度计算，通过重排操作符，实现原地梯度更新和操作符融合，减少内存占用。
\item \textbf{主要贡献}：首个提出了在仅有 256 KB SRAM 内存的情况下实现设备端训练的算法-系统协同设计框架，论证了在设备资源受限的情况下进行训练的可行性，并且一定程度上支持了反向传播。在下游任务中，模型仅使用了 206 KB 内存，就在 VWW 数据集上达到了 89.1\% 的准确率。
\item \textbf{不足与未来方向} TTE 目前仅支持对单层或极小模型进行训练，稍大些的模型处理起来仍存在困难。因此，未来需要对其他种类的模型进行优化，使其能够支持更多种类的模型。
\end{itemize}

\begin{itemize}
\item \textbf{论文标题}：StreamNet: Memory-Efficient Streaming Tiny Deep Learning Inference on the Microcontroller
\item \textbf{研究问题}：微控制器的资源限制，如小容量的闪存、有限的 SRAM 内存预算和慢速的 CPU 性能，使得在微控制器上部署 TinyML 模型时，传统的逐层推理方法会过度使用 SRAM 内存空间。基于补丁的推理方法虽然可以减少 SRAM 内存的峰值使用，但会大幅增加乘加运算的数量，导致计算开销过大。
\item \textbf{方法与技术}：StreamNet 通过流缓冲区重用张量数据，设计了 1D 和 2D 流处理来提高基于补丁的推理性能。此外，StreamNet 还移除了对填充数据的不必要计算，并通过其参数选择框架自动构建新的基于补丁的推理配置，以满足 MCU 的 SRAM 内存约束，同时实现最佳性能。
\item \textbf{主要贡献}：StreamNet 缓解基于补丁的推理中存在的性能瓶颈，实现了 7.3 倍的加速比，并在不显著增加内存使用的情况下，减少了 81\% 乘加运算的数量。
\item \textbf{不足与未来方向}：StreamNet 在减少 SRAM 内存使用的同时，仍需要相当数量的内存空间来存储流缓冲区。例如，StreamNet-2D 需要额外的 14 KB SRAM 内存空间来存储临时结果，对于内存空间极其有限的设备来说，内存分配策略需要一定的权衡。因此，数据流的优化仍是一个重要的课题。
\end{itemize}

\subsubsection{TACO}

\begin{itemize}
\item \citet{susskind2023uleen} 提出了边缘神经网络 ULEEN，提升了在高吞吐边缘场景下的推理准确度。
\end{itemize}

\begin{itemize}
\item \textbf{论文标题}：ULEEN: A Novel Architecture for Ultra-low-energy Edge Neural Networks
\item \textbf{研究问题}：在高吞吐低功耗边缘设备上部署机器学习模型进行推理。
\item \textbf{方法与技术}：基于无权重神经网络（WNN）提出了一种新的极低能耗边缘神经网络（Ultra-low-energy Edge Neural Network, ULEEN）通过引入多遍反馈学习规则和 RAM 节点剪枝来提升 WNN 的性能并降低其功耗。设计了一种基于 FPGA 的推理加速器架构来支持 ULEEN，提升其推理速度。
\item \textbf{主要贡献}：基于 WNN 设计了新的边缘神经网络 ULEEN。ULEEN 模型大小相较于 Bloom WiSARD 减少了 3.1 到 5.5 倍，错误率降低了 2.3 到 5.3 倍，因而能够胜任低延迟、高吞吐边缘场景下的推理。
\item \textbf{不足与未来方向}：ULEEN 推理准确程度尚存在提升空间。未来准备开发卷积 WNN，以提升在更大图像数据集上推理的高准确度，但这会增加模型和加速器的复杂性，因此仍是一个较大的挑战。
\end{itemize}

\subsubsection{TCAD}

\begin{itemize}
\item \citet{wu2023fedcomp} 提出了联邦学习压缩框架 FedComp，实现了更高的通信压缩比，减少了本地残差模型存储开销。
\item \citet{kong2023edgecompress}：提出了边缘模型压缩方案 EdgeCompress，降低计算冗余的同时保证了推理的准确率。
\end{itemize}

\begin{itemize}
\item \textbf{论文标题}：FedComp: A Federated Learning Compression Framework for Resource-Constrained Edge Computing Devices
\item \textbf{研究问题}：在资源受限的边缘设备上进行联邦学习时面临 Top-K 参数索引压缩性差和用于维持模型质量的残差累积内存消耗较为严重，影响了模型大规模部署可行性。
\item \textbf{方法与技术}：文中提出了一种新的联邦学习压缩框架 FedComp，包括用于减少索引比例的张量级别的索引共享机制、降低传输成本的细粒度参数打包策略、提高通信压缩比的残差压缩器。FedComp 采用 Top-K 稀疏化方法，只上传局部训练中变化最大的参数，减少通信成本。
\item \textbf{主要贡献}：为资源受限的边缘设备提供了高效的联邦学习通信压缩解决方案，有助于缓解实际应用场景下的通信瓶颈问题。实验结果表明，FedComp 在不同任务上实现了高达 28.5 倍的通信压缩比，同时在本地残差模型上减少了 21.04 倍到 50.59 倍的内存成本。
\item \textbf{不足与未来方向}：文中未讨论 FedComp 在不同类型边缘设备上的实际运行效果如何，真实应用场景下边缘设备类型众多，因此 FedComp 在这些异构的设备上运行时的压缩和解压开销尚待进一步研究。
\end{itemize}

\begin{itemize}
\item \textbf{论文标题}：EdgeCompress: coupling multi-dimensional model compression and dynamic inference for EdgeAI
\item \textbf{研究问题}：CNN 在图像分类任务中取得了很好的效果，但是其高昂的计算成本限制了其在资源受限设备上的部署，因此如何降低其计算开销，并尽可能地保持其准确性对于在资源受限设备上部署 CNN 模型是非常关键的问题。
\item \textbf{方法与技术}：EdgeCompress 中引入了动态图像裁剪策略，通过前景预测期定位输入图像中最具区分性的前景对象，仅对前景部分进行分类，忽略冗余背景区域，减少计算成本。通过复合压缩策略对 CNN 输入图像的位深和分辨率进行压缩，降低计算开销。在推理时，通过动态推理策略，级联多个复杂度不同的模型，根据输入图像的识别难度动态地选择模型进行推理，压缩计算成本。
\item \textbf{主要贡献}：EdgeCompress 通过动态图像裁剪、复合压缩和动态推理三个关键技术组件，有效降低了 CNN 的计算冗余，在 ImageNet-1K 数据集上，EdgeCompress 减少了 48.8\% 的 MAC，同时提高了 0.8\% 的 Top-1 准确率。与最先进的压缩框架 HRank 相比，EdgeCompress 在相似的模型乘加运算规模下实现了4.1\% 的更高准确率。
\item \textbf{不足与未来方向}：EdgeCompress 通过级联多个模型进行联合推理，多个模型存储对于资源受限的设备而言可能存在一定问题，因此可能对模型采取适当的压缩策略。
\end{itemize}
